Online Safety Monitoring for LLMs
LLM在线安全监控的简单阈值方法
🧭 LLM在线安全监控与风险控制
UvA Bosch-Delta Lab, University of Amsterdam · University of Wisconsin Madison · Johns Hopkins University
简单的阈值监控结合风险控制校准，在线安全检测性能媲美复杂序贯检验方法
📌 工作参考价值（4 点）
- 在Agent或搜索推荐系统的在线生成链路中，可外接一个安全验证器（如毒性分类器），对其输出分数做阈值判决，实现实时拦截有害内容。
- 阈值通过风险控制方法（如设置可接受误报率上限）在线校准，无需依赖标注数据，适合动态生产环境。
- 简单阈值方案工程成本低且效果好，与复杂的序贯假设检验监控器性能相当，可优先尝试。
- 监控粒度为流式 token 级别时，可将验证器部署在低延迟推理管道，及时中止不安全生成，避免后续风险。